Boosting

Overfitting의 위험이 존재하지만, 정확성이 크게 Boosting된다.

1. Train model $h_1$ using $D_1$
2. Train model $h_2$ using $\{(\overrightarrow{x^t},r^t)\in D_2|h_1(\overrightarrow{x^t})\ne r^t\}+$ same amount of correctly classified instances
   1. 즉, $h_1$에서 제대로 분류하지 못하는 intances들과, 동일한 양의 정확히 분류한 instance들을 합해 $h_2$를 훈련시킨다.
   2. 제대로 분류한 instances들 또한 같이 학습시켜 noise에 너무 민감해지지 않도록 한다. Overfitting을 방지하기 위함이다.
3. Train model $h_3$ using $\{(\overrightarrow{x^t},r^t)\in D_3|h_1(\overrightarrow{x^t})\ne h_2(\overrightarrow{x^t})\}$
   1. $h_1$과 $h_2$이 이견이 갈리는, 즉 기존의 model 들로는 제대로 분류되지 않는 intances들에 대해 $h_3$을 학습시킨다.

prediction

---